최소 제곱 오차 추정

최소 제곱 오차 추정의 핵심은 관측된 데이터와 추정 모델 간의 불일치를 정량화하는 오차 함수를 정의하고, 이 함수의 값을 최소화하는 모델 매개변수를 찾는 것이다. 일반적으로 사용되는 오차 함수는 잔차의 제곱합이다. 잔차란 각 관측 데이터 포인트와 모델이 예측하는 값 사이의 차이를 의미한다.

구체적으로, n개의 관측 데이터 쌍 (x_i, y_i)가 주어졌을 때, 모델은 매개변수 벡터 θ를 사용하여 y_i ≈ f(x_i; θ) 형태로 데이터를 설명하려고 한다. 이때 오차 함수 E(θ)는 다음과 같이 정의된다.

E(θ) = Σ_{i=1}^{n} [ y_i - f(x_i; θ) ]^2

이 함수를 비용 함수 또는 목적 함수라고도 부른다. 추정의 목표는 이 제곱 오차의 합 E(θ)를 최소화하는 매개변수 벡터 ^θ를 찾는 것이다. 이렇게 찾은 ^θ를 최소 제곱 추정량이라고 한다.

제곱 오차를 사용하는 주된 이유는 수학적 처리의 편리함과 통계적 특성에 있다. 제곱 함수는 미분 가능하며, 이로 인해 해를 구하는 과정이 선형 대수 문제로 귀결되는 경우가 많다. 또한, 오차가 정규 분포를 따른다는 가정 하에 최소 제곱 추정량은 최대 우도 추정량과 일치한다는 통계적 의미를 가진다. 제곱을 함으로써 양의 오차와 음의 오차가 상쇄되지 않고 누적되며, 큰 오차에 대해 더 큰 페널티를 부여하는 효과도 있다.

관측 데이터와 선형 모델의 예측값 사이의 잔차 제곱합을 최소화하는 문제는 행렬 표기법을 사용하여 간결하게 표현할 수 있다. 선형 모델을 y = Xβ + ε로 나타낼 때, y는 n×1 관측 벡터, X는 n×p 설계 행렬(또는 회귀 행렬), β는 p×1 미지의 모수 벡터, ε는 n×1 오차 벡터이다. 이때 목표 함수인 잔차 제곱합(RSS)은 ||y - Xβ||²로 쓸 수 있다.

이 목표 함수를 최소화하는 모수 추정값 β̂는 정규 방정식을 풀어 구한다. 정규 방정식은 XᵀX β̂ = Xᵀy의 형태를 가진다. 이 방정식은 목표 함수를 β에 대해 미분하고 그 기울기를 0으로 설정하여 유도된다. XᵀX 행렬이 가역적(역행렬이 존재)이라면, 최소 제곱 추정치는 β̂ = (XᵀX)⁻¹Xᵀy라는 명시적 해를 가진다. 이 해는 유클리드 노름 기준으로 관측값 y를 열공간(column space)에 사영(projection)시킨 기하학적 해석을 가진다.

정규 방정식의 해는 선형 최소 제곱 문제의 대표적인 해법이지만, XᵀX의 조건수가 크거나 직접 역행렬을 계산하는 것이 수치적으로 불안정할 수 있다는 단점이 있다. 이러한 경우 QR 분해나 특이값 분해(SVD)와 같은 다른 알고리즘이 실제 계산에 더 선호된다.

무선 통신 시스템에서 채널 추정은 송신기와 수신기 사이의 전파 채널 특성을 파악하는 핵심 과정이다. 채널은 신호 감쇠, 다중 경로 페이딩, 주파수 선택적 페이딩, 도플러 확산과 같은 현상을 유발하여 수신 신호를 왜곡한다. 최소 제곱 오차 추정은 이러한 채널의 임펄스 응답이나 주파수 응답을 추정하는 데 널리 사용되는 간단하면서도 효과적인 방법이다. 송신기가 알려진 훈련 심볼 또는 파일럿 신호를 보내면, 수신기는 수신된 신호와 원본 훈련 신호 사이의 오차 제곱합을 최소화하는 방식으로 채널 계수를 추정한다.

기본적인 선형 채널 모델에서, 수신 신호 벡터 y는 송신 신호 행렬 X와 채널 계수 벡터 h의 곱에 잡음 벡터 n이 더해진 형태로 표현된다(y = Xh + n). 최소 제곱 채널 추정기는 이 모델에서 오차 벡터 e = y - Xĥ의 노름 제곱(||e||²)을 최소화하는 추정값 ĥ를 찾는다. 이 해는 ĥ = (X^H X)^(-1) X^H y라는 잘 알려진 정규 방정식의 해로 구해진다. 여기서 X^H는 X의 켤레 전치 행렬을 의미한다.

이 방식의 주요 장점은 구현이 비교적 간단하고 계산 효율이 높다는 점이다. 특히 훈련 신호 행렬 X가 직교 행렬(예: Walsh-Hadamard 코드)로 설계된 경우, X^H X가 단위 행렬의 스칼라 배가 되어 역행렬 계산이 매우 간단해진다. 그러나 최소 제곱 추정치는 수신 신호에 포함된 잡음의 영향을 그대로 받으며, 이로 인해 추정 오차가 발생할 수 있다. 또한, 사용 가능한 대역폭과 전송 전력의 제약으로 인해 훈련 심볼의 길이와 개수가 제한될 수 있어 추정 정확도에 한계가 생긴다.

따라서 최소 제곱 기반 채널 추정은 높은 신호 대 잡음비 환경이나 복잡도를 낮추어야 하는 시스템에서 기본적인 방법으로 자주 채택된다. 성능을 더욱 개선하기 위해 잡음의 통계적 특성을 고려한 최대우도 추정이나 최소 평균 제곱 오차 추정 등의 기법이 사용되기도 한다.

위치 추정 및 측위 분야에서 최소 제곱 오차 추정은 관측된 신호로부터 송신기나 수신기의 지리 좌표를 결정하는 핵심 기법이다. GPS, Wi-Fi 핑거프린팅, 셀룰러 네트워크 기반 측위 등 다양한 시스템에서 활용된다. 기본 원리는 여러 기준점(기지국, 위성, 액세스 포인트)으로부터 측정된 거리나 도착 시간 차이와 같은 관측 데이터와 예상 위치 간의 오차 제곱합을 최소화하는 점을 추정 위치로 계산하는 것이다.

구체적으로, 도착 시간 기반 측위에서는 신호가 전파되는 데 걸리는 시간을 거리 정보로 변환한다. 각 기준점 i에 대해 측정된 거리 r_i와 추정 위치 (x, y, z)와 기준점 위치 (x_i, y_i, z_i) 사이의 기하학적 거리 차이의 제곱을 최소화하는 문제로 설정된다. 이 방정식은 일반적으로 비선형이므로, 선형 근사를 통해 정규 방정식 형태로 변환하여 해를 구하거나 가우스-뉴턴 방법과 같은 반복 알고리즘을 사용한다.

성능은 기준점의 기하학적 배치, 측정 오차의 통계적 특성, 그리고 다중 경로 페이딩과 같은 채널 손실에 크게 영향을 받는다. 측정 오차가 가우스 분포를 따른다고 가정할 때, 최소 제곱 추정치는 최대 우도 추정과 일치하며 효율적인 추정을 제공한다. 그러나 실제 환경에서는 오차가 비가우스적이거나 이상치가 존재할 수 있어, 이 경우 로버스트 추정 기법이나 가중 최소 제곱법이 대안으로 고려된다.

신호 검출 및 복원에서 최소 제곱 오차 추정은 수신된 왜곡된 신호로부터 원래의 송신 신호를 복원하거나, 잡음이 섞인 관측치에서 유용한 정보 신호를 검출하는 핵심 도구로 사용된다. 이 과정은 기본적으로 알려진 시스템 모델(예: 채널 응답) 하에서, 관측된 신호와 모델을 통해 재생성된 추정 신호 사이의 제곱 오차 합을 최소화하는 송신 신호의 값을 찾는 문제로 귀결된다. 통신 시스템에서는 심볼 간 간섭이나 다중 경로 페이딩과 같은 채널 왜곡을 보상하는 등화기 설계에 널리 적용된다.

구체적으로, 수신 신호 벡터 y가 채널 행렬 H와 송신 신호 벡터 s 및 잡음 벡터 n에 의해 y = Hs + n으로 표현될 때, 최소 제곱 기준에 의한 신호 검출은 다음의 비용 함수를 최소화하는 송신 신호 벡터 ŝ를 찾는 것이다.

|| ŝ = arg min ||y - Hŝ||²

이 해는 정규 방정식 HᵀHŝ = Hᵀy를 풀어 구하며, 이를 통해 채널의 역변환을 근사적으로 수행하여 원래의 신호를 추정한다. 이 방법은 계산이 비교적 간단하지만, 잡음이 증폭될 수 있는 단점이 있다.

신호 복원 문제에서는 부분적으로 손실되거나 압축된 신호를 원본에 가깝게 재구성하는 데 활용된다. 예를 들어, 영상 처리에서 블러링(흐림) 현상을 모델링하는 점 확산 함수가 알려져 있다면, 최소 제곱법을 사용하여 선명한 원본 영상을 추정할 수 있다. 또한, OFDM 시스템에서 파일럿 심볼을 이용한 주파수 영역 등화나, 스펙트럼 감산 기법을 통한 음성 향상에서도 유사한 원리가 적용된다. 이러한 응용에서 성능은 시스템 모델 H의 정확도와 관측 잡음의 통계적 특성에 크게 의존한다.

직접 계산법은 정규 방정식을 해석적으로 풀어 최소 제곱 오차 추정의 파라미터를 구하는 방법이다. 이 방법은 관측 데이터를 기반으로 구성된 설계 행렬 \( X \)와 관측 벡터 \( y \)가 주어졌을 때, 추정하고자 하는 파라미터 벡터 \( \hat{\beta} \)를 \( \hat{\beta} = (X^T X)^{-1} X^T y \) 공식을 통해 직접 계산한다. 여기서 \( X^T \)는 \( X \)의 전치 행렬을, \( (X^T X)^{-1} \)은 \( X^T X \)의 역행렬을 의미한다. 이 공식은 오차 제곱합을 최소화하는 조건에서 유도되며, 해가 유일하게 존재하기 위해서는 \( X^T X \) 행렬이 가역 행렬이어야 한다.

계산 과정은 일반적으로 다음과 같은 단계로 진행된다.

이 방법의 주요 장점은 해를 한 번의 계산으로 명시적으로 얻을 수 있다는 점이다. 또한, 이론적 분석에 용이하며, 데이터 세트의 크기가 중간 정도일 때 효율적이다. 그러나 직접 계산법은 \( X^T X \)의 역행렬을 계산해야 하므로 몇 가지 한계를 가진다. 행렬 \( X^T X \)의 조건수가 나쁘면[4], 역행렬 계산 과정에서 수치적 불안정성이 발생하여 추정치의 정확도가 크게 떨어질 수 있다. 또한, 데이터 포인트 수 \( n \)과 파라미터 수 \( p \)가 매우 클 경우, \( X^T X \) 행렬(\( p \times p \) 크기)의 역행렬을 계산하는 데 드는 \( O(p^3) \)의 계산 복잡도는 실용적이지 않을 수 있다. 이러한 경우에는 반복적 방법이나 특이값 분해와 같은 다른 알고리즘이 선호된다.

최소 제곱 오차 추정 문제를 해결하기 위한 직접적인 방법(예: 정규 방정식의 해를 구하는 것)은 데이터 행렬의 크기가 클 때 계산 비용이 높거나 수치적으로 불안정할 수 있다. 이러한 경우, 해를 점진적으로 근사시키는 반복적 방법이 유용하게 사용된다.

반복적 방법은 초기 추정값에서 시작하여, 각 반복 단계에서 현재 추정치를 오차 함수를 최소화하는 방향으로 업데이트한다. 대표적인 알고리즘으로는 경사 하강법과 가우스-뉴턴 방법이 있다. 경사 하강법은 목적 함수의 기울기(gradient) 반대 방향으로 파라미터를 조정하는 간단한 방법이다. 반면 가우스-뉴턴 방법은 비선형 최소 제곱 문제에 특화된 방법으로, 각 반복에서 문제를 선형 최소 제곱 문제로 근사하여 해를 구한다.

이러한 방법들의 선택은 문제의 규모, 비선형성, 수렴 속도 요구사항에 따라 달라진다. 반복적 방법은 일반적으로 다음과 같은 장단점을 가진다.

실제 네트워크 및 통신 시스템에서는 재귀 최소 제곱법과 같은 온라인 알고리즘이 실시간으로 변화하는 채널이나 신호 파라미터를 추정하는 데 널리 사용된다. 이는 새로운 데이터가 도착할 때마다 이전 추정치를 반복적으로 개선하는 방식으로 작동한다[5].

최소 제곱 오차 추정의 성능은 추정량의 편향과 분산으로 분석할 수 있다. 편향은 추정량의 기댓값이 모수와 얼마나 다른지를 나타내며, 분산은 추정값이 평균 주위에서 얼마나 퍼져 있는지를 나타낸다. 이상적인 추정량은 편향이 없으면서도 분산이 최소인 경우이다.

가우스-마르코프 정리에 따르면, 선형 모델에서 오차가 평균이 0이고 등분산이며 서로 무상관일 때, 최소 제곱 추정량은 편향이 없으면서도 분산이 최소인 선형 불편 추정량이 된다[6]. 이는 최소 제곱법이 이러한 조건 하에서 최적의 성질을 가짐을 의미한다.

그러나 실제 네트워크 및 통신 환경에서는 모델의 오차나 입력 데이터에 노이즈가 존재할 수 있으며, 이는 편향과 분산에 영향을 미친다. 일반적으로 모델이 정확하고 노이즈가 가우시안 분포를 따를 때 최소 제곱 추정량은 편향되지 않은 효율적인 추정치를 제공한다. 하지만 모델이 부정확하거나(예: 선형 관계가 아닌 경우) 노이즈의 통계적 특성이 가정과 다를 경우 추정량에 편향이 발생할 수 있다.

편향과 분산은 종종 상충 관계에 있다. 과도하게 복잡한 모델을 사용하면 훈련 데이터에 과적합되어 분산은 커지지만 편향은 작아질 수 있다. 반대로 너무 단순한 모델은 편향은 커지지만 분산은 작아진다. 이는 편향-분산 트레이드오프로 알려져 있으며, 최소 제곱법을 기반으로 한 모델 선택 시 중요한 고려 사항이 된다.

최소 제곱 오차 추정의 성능을 평가하는 중요한 척도는 추정량의 분산이 이론적으로 도달할 수 있는 하한과 얼마나 가까운지 비교하는 것이다. 이 이론적 하한이 바로 크라메르-라오 하한이다. CRLB는 불편 추정량의 분산이 가질 수 있는 최소값을 제공하며, 어떤 추정 방법이 통계적으로 얼마나 효율적인지를 판단하는 기준이 된다.

최소 제곱법 추정량은 일반적으로 편향되지 않았을 때, 즉 추정량의 기대값이 참값과 일치할 때 가장 효율적이다. 이 경우, 가우시안 잡음 환경 하에서 최소 제곱법 추정량은 최대우도추정과 동일해지며, 이는 CRLB를 도달할 수 있는 효율적인 추정량이 된다. 다음 표는 주요 비교 요소를 정리한 것이다.

그러나 모델이 정확하지 않거나(모델 불일치), 관측 잡음이 비가우시안일 경우, 최소 제곱법 추정량은 더 이상 CRLB를 도달하지 못할 수 있다. 또한 유한한 샘플 수를 사용하는 실제 상황에서는 추정량의 분산이 CRLB보다 약간 큰 것이 일반적이다. 따라서 CRLB와의 비교는 주어진 문제 설정 하에서 최소 제곱법이 이론적 최적 성능에 얼마나 근접하는지를 분석하는 도구로 사용된다.

수치적 안정성은 최소 제곱 오차 추정 문제를 컴퓨터로 해결할 때, 계산 과정에서 발생할 수 있는 오차의 증폭이나 불안정성을 최소화하는 것을 의미한다. 특히 정규 방정식 $\mathbf{A}^T\mathbf{A}\mathbf{x} = \mathbf{A}^T\mathbf{b}$을 직접 푸는 방법은 행렬 $\mathbf{A}$의 조건수가 클 경우 수치적으로 매우 불안정해질 수 있다. $\mathbf{A}^T\mathbf{A}$를 계산하면 원래 행렬 $\mathbf{A}$의 조건수의 제곱에 해당하는 조건수를 가지게 되어, 반올림 오차가 크게 증폭될 위험이 있다.

이러한 문제를 완화하기 위해 QR 분해나 특이값 분해와 같은 안정적인 행렬 분해 기법이 널리 사용된다. 예를 들어, $\mathbf{A} = \mathbf{QR}$로 분해하면 정규 방정식은 $\mathbf{Rx} = \mathbf{Q}^T\mathbf{b}$로 단순화되어, 조건수가 $\mathbf{A}$와 동일한 상삼각행렬 $\mathbf{R}$을 이용해 안정적으로 해를 구할 수 있다. 조건수가 매우 크거나 행렬 $\mathbf{A}$가 랭크 결핍인 경우에는 특이값 분해를 기반으로 한 의사역행렬 계산이 더욱 강건한 해를 제공한다.

또한, 문제의 스케일링은 수치적 안정성에 중요한 영향을 미친다. 입력 데이터나 관측값의 단위 차이로 인해 변수 간 스케일이 크게 다르면 계산 정확도가 떨어질 수 있다. 따라서 계산 전에 변수를 표준화하거나 정규화하는 전처리 과정이 권장된다. 반복적 방법을 사용할 때도 수렴 속도와 안정성을 보장하기 위해 전처리 조건자를 적용하는 경우가 많다.

계산 복잡도는 최소 제곱 오차 추정 문제를 해결하는 알고리즘의 효율성을 평가하는 핵심 지표이다. 복잡도는 일반적으로 문제의 크기, 즉 관측 데이터의 수 n과 추정해야 할 모델 파라미터의 수 p에 대한 함수로 표현된다.

직접적인 해법인 정규 방정식 (X^T X) β = X^T y를 푸는 방법의 복잡도는 주로 행렬 곱셈 X^T X (O(np²) 복잡도)와 p x p 크기의 정방행렬의 역행렬 계산 또는 선형 시스템 해법 (O(p³) 복잡도)에 의해 결정된다[8]. 따라서 전체 복잡도는 대략 O(np² + p³) 수준이다. 이 방법은 p가 상대적으로 작을 때 효율적이지만, p가 커지면 p³ 항으로 인해 계산 부하가 급격히 증가한다.

대규모 문제나 실시간 처리가 필요한 응용 분야에서는 QR 분해나 특이값 분해와 같은 수치적으로 안정적인 방법이 선호된다. QR 분해를 이용한 방법의 복잡도는 O(np²) 수준으로, 정규 방정식 접근법과 유사하거나 약간 더 높을 수 있지만, 수치적 안정성이 훨씬 우수하다. 반복적 방법인 재귀 최소 제곱법은 각 새로운 데이터 포인트가 도착할 때마다 O(p²)의 복잡도로 파라미터를 갱신할 수 있어, 데이터가 순차적으로 입력되는 온라인 학습이나 실시간 시스템에 적합하다.

따라서 응용 분야의 요구사항(배치 처리 대 실시간 처리, 파라미터 수 p의 크기, 수치적 정밀도 요구도)에 따라 적절한 알고리즘과 그에 따른 계산 복잡도를 고려하여 구현 방법을 선택해야 한다.

가중 최소 제곱법은 최소 제곱 오차 추정의 일반화된 형태로, 각 관측 데이터 포인트에 서로 다른 중요도(가중치)를 부여하여 추정을 수행하는 기법이다. 표준 최소 제곱법은 모든 관측값의 오차를 동등하게 취급하지만, 실제 데이터에는 측정 신뢰도나 잡음 분산이 다른 경우가 많다. 가중 최소 제곱법은 이러한 이질성을 반영하여, 신뢰도가 높은 관측값에는 큰 가중치를, 신뢰도가 낮은 관측값에는 작은 가중치를 부여함으로써 더 효율적이고 정확한 추정 결과를 제공한다.

이 방법의 수학적 목표는 가중된 오차 제곱합을 최소화하는 것이다. 관측 벡터 $\mathbf{y}$, 설계 행렬 $\mathbf{X}$, 추정하고자 하는 파라미터 벡터 $\boldsymbol{\beta}$가 주어졌을 때, 가중치 행렬 $\mathbf{W}$는 일반적으로 양의 정부호 대각 행렬로 구성된다. 이때 목적 함수는 $S(\boldsymbol{\beta}) = (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^T \mathbf{W} (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})$가 되며, 이를 최소화하는 추정값 $\hat{\boldsymbol{\beta}}_{WLS}$는 정규 방정식 $\mathbf{X}^T \mathbf{W} \mathbf{X} \hat{\boldsymbol{\beta}}_{WLS} = \mathbf{X}^T \mathbf{W} \mathbf{y}$의 해로 구할 수 있다. 가중치 행렬 $\mathbf{W}$의 대각 원소 $w_i$는 $i$번째 관측값의 분산 $\sigma_i^2$에 반비례하도록 설정($w_i = 1 / \sigma_i^2$)하는 것이 일반적이다.

네트워크 및 통신 분야에서는 이 기법이 널리 활용된다. 예를 들어, 채널 추정에서 수신된 파일럿 신호의 전력이나 신호 대 잡음비가 시간에 따라 변할 수 있다. 이 경우 각 파일럿 심볼에 대한 추정 신뢰도가 달라지므로, 가중 최소 제곱법을 적용하여 더 정확한 채널 응답을 추정할 수 있다. 또한, 위치 추정 및 측위에서도 각 기준국(Anchor Node)으로부터의 거리 측정값은 전파 환경에 따라 오차의 분산이 다르다. 가중 최소 제곱법은 측정 오차의 분산을 기반으로 가중치를 조정하여, 보다 정밀한 단말기의 위치 좌표를 계산하는 데 사용된다.

재귀 최소 제곱법은 새로운 데이터가 순차적으로 도착할 때마다 최소 제곱 오차 추정 해를 효율적으로 갱신하는 적응 알고리즘이다. 배치 방식의 최소 제곱법은 모든 데이터를 한 번에 처리해야 하지만, 재귀 최소 제곱법은 이전까지의 추정 결과를 바탕으로 새 데이터만을 사용해 추정값을 업데이트한다. 이 방식은 실시간 처리가 요구되는 통신 시스템, 적응 필터링, 추적 시스템 등에서 널리 사용된다.

알고리즘의 핵심은 추정하고자 하는 파라미터 벡터 $\hat{\mathbf{w}}$와 공분산 행렬 $\mathbf{P}$를 재귀적으로 갱신하는 것이다. $k$번째 시점에서 새로운 입력 벡터 $\mathbf{x}_k$와 관측값 $d_k$가 도착하면, 다음과 같은 순서로 계산이 이루어진다.

1. 칼만 이득 계산: $\mathbf{g}_k = \frac{\mathbf{P}_{k-1} \mathbf{x}_k}{\lambda + \mathbf{x}_k^T \mathbf{P}_{k-1} \mathbf{x}_k}$

2. 오차 계산: $e_k = d_k - \mathbf{x}_k^T \hat{\mathbf{w}}_{k-1}$

3. 파라미터 갱신: $\hat{\mathbf{w}}_k = \hat{\mathbf{w}}_{k-1} + \mathbf{g}_k e_k$

4. 공분산 행렬 갱신: $\mathbf{P}_k = \lambda^{-1} (\mathbf{P}_{k-1} - \mathbf{g}_k \mathbf{x}_k^T \mathbf{P}_{k-1})$

여기서 $\lambda$는 망각 인자로, 1에 가까운 값(예: 0.99)을 사용하여 과거 데이터의 영향을 점차 감소시킨다. 이를 통해 시스템의 시간에 따른 변화를 추적할 수 있다.

재귀 최소 제곱법은 계산 효율성이 뛰어나지만, 수치적 안정성과 관련된 주의가 필요하다. 공분산 행렬 $\mathbf{P}$가 양정치성을 잃거나 수치적으로 불안정해질 수 있어, 제곱근 필터나 UD 분해와 같은 수치적으로 안정한 구현 방식이 종종 사용된다. 또한, 알고리즘의 초기화는 $\hat{\mathbf{w}}_0 = \mathbf{0}$, $\mathbf{P}_0 = \delta^{-1} \mathbf{I}$ (여기서 $\delta$는 작은 양수)와 같이 수행된다.